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摘 X. 快速 准确 的 鱼 类 识别 系统 需要 良好 的 识别 模型 和 部 署 系 统 作 为 支撑 。 近 年 来 ， 卷 积 神经 网 络 在 图 


像 识别 领域 取得 了 巨大 成 功 ， 不 同 的 卷 积 网 络 模型 都 有 不 同 的 优点 和 缺点 ， 面 对 众多 可 供 选 择 的 模型 结构 , 
如 何 选择 和 评价 卷 积 神经 网 络 模型 成 为 了 必须 考虑 的 问题 。 此 外 ， 在 模型 应 用 方面 ， 移 动 终端 直接 部 署 深 
度 学 习 模 型 需要 对 模型 进行 裁剪 、 压 缩 处 理 ， 影 响 精度 的 同时 还 会 导致 安装 包 体积 增 大 ， 不 利于 模型 升级 
维护 。 针 对 上 述 问 题 ， 本 研究 根据 水 下 鱼 类 实时 识别 任务 特点 ， 选 取 了 AlexNet、GoogLeNet、ResNet 和 
DenseNet 预 训练 模型 进行 对 比试 验 研 究 ， 通 过 在 Ground-Truth 鱼 类 公开 数据 集 基础 上 对 图 像 进行 随机 翻转 、 
旋转 、 颜 色 拌 动 来 增强 数据 ， 使 用 Label smoothing 作 为 损失 函数 缓解 模型 过 拟 合 问题 ， 通 过 研究 Ranger 优 化 
器 和 Cosine 学 习 率 衰减 策略 进一步 提高 模型 训练 效果 。 统 计 各 个 识别 模型 在 训练 集 和 验证 集 上 的 精确 度 和 如 
回 率 ， 最 后 综合 精确 度 和 召回 率 量化 模型 识别 效果 。 试 验 结果 表明 ， 基 于 DenseNet 训练 的 鱼 类 识别 模型 综 
合 评分 最 高 ， 在 验证 集 的 精确 度 和 召回 率 分 别 达 到 了 99.21% 和 96.77% , PEAK FIA BIT 0.9742, 模型 理论 
识别 精度 达到 预期 。 基 于 Python 开发 并 部 署 了 一 套 远 程 水 下 鱼 类 实时 识别 系统 ， 将 模型 部 署 到 远程 服务 器 ， 
移动 终端 通过 网 络 请 求 进行 鱼 类 识别 模型 调用 ， 验 证 集 图 像 实 际 测试 表明 ， 在 网 络 良 好 条 件 下 ， 移 动 终端 


可 以 在 1s 内 准确 识别 并 显示 鱼 类 信息 。 
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1 引言 


鱼 类 是 最 重要 的 水 产品 之 一 ， 世 界 上 已 知 的 
鱼 类 有 28,000 多 种 ，， 研 发 快速 、 准 确 的 自动 化 
鱼 类 识别 系统 在 鱼 类 知识 科普 、 混 合 养 殖 、 海 洋 
监管 等 方面 具有 重要 意义 。 一 个 完整 的 自动 化 鱼 
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类 识别 系统 至 少 应 该 包含 识别 方法 的 构建 和 模型 
部 署 两 个 方面 。 

在 鱼 类 识别 方法 方面 ， 传 统 的 基于 手工 特征 
提取 的 鱼 类 识别 方法 ， 主 要 依靠 鱼 的 纹理 、 颜 
色 、 形 状 等 特征 进行 区 分 “， 虽然 通过 应 用 尺度 


不 变 特 征 变 换 (Scale-Invariant Feature Trans- 
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form, SIFT) ”、 方 向 梯度 直方 图 (Histogram of 
Oriented Gradient, HOG)" 4&Jr ik Uf TAA 
成 效 的 改进 ， 但 鱼 类 特征 需要 依赖 专家 手动 设 
计 ， 当 识别 男 一 种 鱼 类 时 需要 重新 设计 这 些 特 
WE, 方法 不 具有 通用 性 且 识 别 精度 不 高 o EEF 
来 ， 卷 积 神 经 网 络 (Convolution Neural Net- 
work, CNN) 在 图 像 识别 领域 取得 了 巨大 进 
fe", Krizhevsky 等 "提出 的 AlexNet 卷 积 神经 
网 络 在 ImageNet Large Scale Visual Recognition 
Challenge (ILSVRC) 比赛 中 大 放 异 彩 ， 一 举 斩 
获 了 ILSVRC2012 比赛 冠军 。 在 AlexNet 之 后 ， 
研究 者 们 陆续 提出 了 许多 优秀 的 改进 的 CNN 模 
型 l| VGGNet ", GoogLeNet " , ResNet ", 
DenseNet "| 等， 这 些 模 型 在 解决 图 像 分 类 问题 
上 都 取得 了 优异 的 成 绩 。CNN 系列 算法 已 经 成 
为 了 完成 图 像 识别 任务 的 最 佳 算 法 之 一 汪 。 不 
同 的 CNN 模 型 有 不 同 的 特点 ， 没 有 一 种 模型 可 
以 在 所 有 场景 下 都 优 于 其 它 模型 中， 例如 VGG- 
Net 相 比 AlexNet 可 以 学 习 更 多 特征 ， 但 也 大 幅 
增加 了 模型 大 小 "，GoogLeNet 的 Inception 模 块 
大 幅 减 少 了 模型 参数 ， 但 并 没有 解决 随 着 深度 的 
增加 可 能 会 出 现 的 模型 退化 问题 7; ResNetZ& 
解 了 随 着 深度 增加 导致 的 梯度 消失 问题 ， 但 增加 
了 实现 难度 并 且 引 入 了 许多 需要 手工 设置 的 权 
重 5。 对 于 具体 的 水 下 鱼 类 识别 任务 ，CNN 结 
构 如 何 选择 和 评价 模型 成 为 必须 考虑 的 问题 。 
在 模型 部 署 方面 ， 将 模型 直接 部 署 到 安 卓 移 
动 终端 是 一 种 可 行 的 方案 。 随 着 移动 互联 网 时 代 
发 展 和 智能 终端 的 普及 ， 越 来 越 多 的 人 习惯 用 手 
机 上 网 。 《中国 互联 网 络 发 展 状 况 统计 报告 》 显 
示 ， 截 止 到 2020 年 12 月 ， 中 国手 机 网 民 规 模 达 
到 了 9.86 亿 ， 网 民 中 使 用 手机 上 网 的 比例 达到 了 
99.7% "7, 2021 年 安 卓 系统 占据 了 将 近 90% 手 机 
市 场 份额 ”， 在 安 章 终端 上 实现 鱼 类 识别 可 方 
便 用 户 使 用 ， 大 幅 降 低 终端 用 户 学 习 成 本 。 但 安 
卓 终 端 相 比 于 服务 器 计算 能 力 有 限 ， 一 般 的 深度 
模型 需要 针对 移动 设备 进行 裁 前 、 压 缩 处 理 后 才 
能 部 署 到 移动 终端 ， 对 模型 进行 裁剪 和 压缩 会 影 


响 模型 精度 ， 而 且 将 模型 直接 打包 到 安装 包 会 显 
车 影响 安 法 包 大 小 ， 不 利于 功能 扩展 和 维护 
升级 。 

针对 上 述 问题 ， 本 研究 以 实现 高 精度 鱼 类 识 
别 系 统 为 出 发 点 ， 尝 试 通过 人 研究 多 个 主流 CNN 
结构 ， 结 合 数据 集 特点 和 任务 要 求 初步 选择 模 
型 ， 通 过 设计 模型 对 比试 验 进一步 量化 模型 优 
劣 ， 并 设计 一 套 远程 鱼 类 识别 系统 完成 模型 部 
署 ， 以 实现 一 套 完整 的 高 精度 鱼 类 在 线 识 别 
系统 。 


2 ”研究 数据 与 方法 


2.1 系统 设计 


鱼 类 识别 系统 的 整体 设计 如 图 1 所 示 ， 用 户 
可 以 通过 调用 安 卓 手机 摄像 头 采 集 鱼 类 图 像 信 
县， 通过 网 络 上 传 鱼 类 图 像 至 服务 器 进行 识别 ， 
服务 融 在 成 功 识 别 鱼 类 品种 后 查询 鱼 类 信息 数据 
库 获 取 鱼 的 简介 、 分 布 、 习 性 、 生 长 周期 等 鱼 类 
知识 库 信息 返回 给 安 卓 客户 端 显示 。 


鱼 类 信息 展示 
Al 鱼 类 识别 系统 架构 示意 图 


Fig. 1 Architecture of fish identification system 


2.2 数据 处 理 


采用 Ground-Truth 公开 数据 集 7" 中 图 像 训 
练 模型 。 数 据 集 包含 由 海洋 生物 学 家 手动 标记 的 
23 种 鱼 类 共计 27,370 张 水 下 图 像 ， 图 2 展示 了 数 
据 集 的 每 种 鱼 类 的 图 像 和 数量 。 将 图 像 分 成 80% 
的 训练 数据 集 (21,819 张 图 像 ) 和 20% 的 验证 数 
据 集 (5474 张 图 像 ) ， 在 训练 过 程 中 使 用 随机 水 
平 翻转 、 随 机 旋转 、 颜 色 拌 动 等 数据 增强 技术 扩 
大 样本 大 小 。 图 像 大 小 缩放 到 260X260 像素 作 
为 模型 输入 。 
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马 月 蝴蝶 鱼 2534 张 双 线 眶 环 鲈 49 张 。” 黑 三 角 倒 吊 鱼 90 张 ”黑马 鞍 鳄 鱼 147 张 


RUE fa 16 HK 


迪克 氏 固 曲 齿 钢 2683 张 


黄 纹 炮弹 鱼 41 张 


3m 


双 带 小 丑 鱼 4049 张 Ke EH fa 3503 sK 


E 


网 纹 宅 泥 鱼 12,112 张 康德 锯 鳞 鱼 450 张 


SEU fa 56 9K 


民 缘 单 鳍 鱼 29 张 ” 横 带 粗 层 鱼 241 张 ” 川 纹 蝴 蝶 鱼 190 张 


图 2 Ground-Truth 数据 集 的 图 像 及 样本 量 


Fig. 2 The images and quantity of Ground-Truth dataset 


2.3 基本 原理 


2.3.1 卷 积 神经 网 络 模 型 

卷 积 神经 网 络 是 图 像 处 理 领 域 广 泛 应 用 的 深 
度 学 习 网 络 ， 本 质 上 是 一 种 层次 网 络 ” ， 其 主 
要 的 特点 是 包含 卷 积 层 和 池 化 层 ， 原 始 输入 图 像 
的 具象 信息 通过 层 层 卷 积 和 池 化 操作 被 提取 成 高 
层次 抽象 信息 ”"， 到 最 后 一 层 后 根据 损失 函数 
计算 预测 值 和 真实 结果 的 误差 再 逐 层 向 前 传播 矫 
正 模型 参数 ， 直 到 模型 收敛 中。 卷 积 和 最 大 池 
化 操作 如 图 3 所 示 。 

| 


图 3 卷 积 和 最 大 池 化 


Fig.3 Convolution and max pooling 


卷 积 操作 的 计算 公式 为 ™; 
? =f(X XF XK} +D) (1) 


ij 
EM, 

其 中 , 工 表示 神经 网 络 层 数 ; M 表示 输入 特 
征 图 ; K4 表 示 卷 积 核 ;b: 表 示 偏 置 ，f() 表 示 激 
if ERA 

AlexNet, VGGNet, GoogLeNet, ResNet, 
DenseNet 是 CNN 模型 的 典型 代表 ， 统 计 显 
示 '“， 各 个 CNN 模 型 大 小 如 表 1 所 示 。 


表 1 5 种 CNN 模 型 大 小 
Table 1 The sizes of the five kinds of CNNs 


CNN 名 称 模型 大 小 /Mb 
AlexNet 60 
VGGNet 138 

GoogLeNet 4 

ResNet 1.7~25.6 

DenseNet 15.3—25.6 


2.8.2 ”混淆 矩阵 

混淆 矩阵 是 一 种 比较 预测 类 别 和 真实 类 别 差 
异 的 可 视 化 矩阵 拉 。 每 一 列 的 总 数 表示 预测 为 
该 类 别 的 数据 的 数目 ， 每 一 行 的 数据 总 数 表 示 该 


ChinaXiv 合 作 期 刊 


133 


202302.00169v1 


chinaXiv 


类 别 的 数据 实际 的 数目 ， 二 分 类 任务 的 混 清 矩阵 
如 图 4 所 示 。 


图 4 — XS ABE 


Fig. 4 Confusion matrix of binary classification 


其 中 ，TN (True Negative) 表示 预测 为 
Negative 类 正确 的 数量 ，FN (False Negative) 表 
示 预 测 为 Negative 类 错误 的 数量 ，FP (False Pos- 
itive) 表示 预测 为 Positive 类 错误 的 数量 ，TP 
(True Positive) 表示 预测 为 Positive 类 正确 的 
数量 。 

在 混 消 矩阵 的 基础 上 延伸 出 了 精确 率 (Pre- 
cision), A EX (Recall), 、 准 确 率 (Accuracy) 
等 指标 ， 精 确 率 的 计算 公式 为 : 

TP 


Precision = TP + FP (2) 
召回 率 的 计算 公式 为 : 

TP 
Recall = TP + FN (3) 
准确 率 的 计算 公式 为 : 


, TP + TN (4) 
Ccurary ~ TP + TN + FP + FN 


YEU (AGE TAME, AK 
HIJAB, — HF [EGER Wt OR Ba, HC 
计算 公式 为 : 

2 X Precision X Recall 
Precision Recall 


2.4 模型 选择 与 构建 


F~ 


于 可 获取 的 水 下 鱼 类 数据 集 比 较 有 限 ， 而 
AlexNet、ResNet 等 著名 CNN 模型 已 经 在 图 像 分 
类 问题 上 经 过 了 长 时 间 、 大 规模 的 训练 ， 以 这 些 
预 训练 模型 为 起 点 迁移 到 新 的 训练 任务 的 迁移 学 
习 方法 可 以 有 效 降 低 模型 对 于 训练 集 大 小 的 依 
赖 ， 适 合计 算 资 源 紧 张 、 数 据 集 不 多 的 情形 CU, 
本 试验 采用 基于 预 训练 模型 迁移 学 习 的 方法 生成 
模型 。 从 表 2 可 以 看 出 ，VGGNet 生成 的 模型 最 
大 ， 达 到 了 138 Mb， 模 型 武大 意味 着 模型 计算 
量 越 大 ， 从 而 识别 速度 越 慢 。 由 于 本 次 鱼 类 实时 
识别 任务 对 模型 识别 速度 要 求 较 高 ， 本 试验 选择 
T AlexNet, GoogLeNet, ResNet 和 DenseNet fil 
训练 网 络 来 训练 鱼 类 识别 模型 ， 通 过 对 各 个 模型 
最 后 的 全 连接 层 进 行 微 调适 配水 下 鱼 类 识别 
任务 。 

为 缓解 模型 过 度 拟 合 ， 选 择 Label smooth- 
ing ”作为 损失 函数 。Ranger ”优化 器 结合 
Radam ?' 和 Lookahead “到 单一 的 优化 器 中 ， 
从 而 可 以 获取 更 高 的 精度 ， 本 文选 择 了 Ranger 
作为 训练 优化 器 。 将 学 习 率 统一 设置 成 0.0001， 
并 使 用 Cosine 策略 衰减 学 习 率 ， 批 处 理 大 小 为 
64， 人 迭代 30 轮 ， 完 整 的 超 参数 的 配置 如 表 2 
所 示 。 


R2 和 鱼 类 识别 试验 超 参数 配置 


Table 2 Super parameter configuration of fish identification 


CNN 模型 要 想 获 得 较 理 想 的 识别 模型 ， 需 
要 基于 大 量 数据 集训 练 ”， 而 且 识别 任务 越 复 
杂 需 要 的 数据 集 越 大 ”。 对 于 水 下 鱼 类 实时 识 
别 任务 ， 由 于 光线 的 变换 、 水 的 折射 等 复杂 水 下 
环境 ,水 下 鱼 类 图 像 往往 存在 分 辨 率 不 足 、 噪 点 
多 等 特点 “， 而 且 不 同 种 类 的 鱼 的 生存 水 域 和 生 
活 习 性 存在 巨大 差异 ， 一 些 鱼 类 只 能 生活 在 深海 
之 中 ， 获 取 大 规模 的 水 下 鱼 类 图 像 并 不 容易 。 巾 


超 参数 值 

训练 轮 数 / 轮 30 

批 处 理 大 小 64 
(5) 学 习 率 0.0001 
优化 器 Ranger 
学 习 率 衰减 Cosine 

损失 Label Smoothing 
3 BRA 


根据 表 2 参 数 设 置 ， 分 别 在 AlexNet、 
GoogLeNet、ResNet50 和 DenseNet169 上 进行 模 
型 训练 ， 并 在 验证 集 上 测试 了 模型 准确 率 、 精 确 
率 、 召 回 率 等 ,试验 结果 如 表 3 所 示 。 
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表 3 鱼 类 识别 试验 不 同 卷 积 神经 网 络 模型 的 对 比 
Table 3 Comparison of different convolutional neural network models for fish recognition experiment 
验证 集 表现 
模型 训练 集 精 度 模型 参数 量 / 百 万 ” 浮 点 计算 次 数 /G 
准确 度 % 精确 度 % AMR NAP iu 

AlexNet 99.42 99.08 95.59 93.76 61.10 0.93 
GoogLeNet 99.81 99.5] 98.37 94.75 5.62 1.98 
ResNet50 99.83 99.58 99.26 96.64 23.56 5.98 
DenseNet169 99.90 99.64 99.21 96.77 14.15 4.49 


准确 率 可 以 很 大 程度 上 说 明 模 型 的 优 劣 ， 对 
于 一 般 的 分 类 问题 ， 我 们 和 希望 模型 越 准 确 越 好 。 
由 图 1 可 以 看 出 ， 本 试验 所 采用 的 Ground-Truth 
数据 集 存 在 严重 的 数据 不 平衡 问题 ， 最 少 的 黑 嘴 
誉 鱼 只 有 16 张 图 片 ， 而 最 多 的 网 纹 宅 泥 鱼 则 多 
达 12,112 张 图 片 ， 相 差 7$0 多 倍 。 此 种 情况 下 ， 
模型 只 需要 将 分 类 结果 分 成 网 纹 宅 泥 鱼 就 会 得 到 
很 高 的 准确 率 ， 仅 依靠 准确 率 指标 已 经 无 法 准确 
评估 模型 效果 。 由 表 3 可 以 看 出 基于 GoogLeNet 
训练 的 模型 参数 量 最 小 ，AlexNet 模 型 的 浮 点 计 
算 量 最 小 但 同时 参数 量 最 大 ， DenseNetl69 的 模 
型 参数 量 和 浮 点 计算 次 数 比 较 均 衡 ， 基 于 
ResNet50 训练 的 模型 验证 集 精确 度 最 高 达到 了 
99.26%， 但 同时 召回 率 低 于 DenseNet169。 通 销 
精确 率 越 高 ， 召 回 率 就 会 越 低 。 由 公式 (5) 可 
以 看 到 厂 值 能 够 更 全 面 地 衡量 模型 优 人 劣 ， 更 适合 
用 于 评估 本 试验 模型 。 根 据 表 3 的 结果 ， 进 一 步 
计算 各 个 模型 整体 的 已 值 ， 结 果 如 表 4 所 示 。 

R4 鱼 类 识别 试验 不 同 卷 积 神经 网 络 模型 的 请 值 


Table 4 F, values of different convolutional neural network 


models for fish recognition tests 


模型 整体 F 值 
AlexNet 0.9449 
GoogLeNet 0.9537 
ResNet50 0.9739 
DenseNet169 0.9742 


由 表 4 FS UL, DenseNet169 模 型 整体 已 值 达 
到 了 0.9742， 是 本 次 试验 获得 的 玉 值 最 高 的 模 
型 。 虽 然 基于 GoogLeNet 训 练 的 模型 参数 量 和 浮 
点 计算 次 数 都 少 于 DenseNet169 模 型 ， 但 考虑 模 
型 是 部 署 到 有 较 强 计算 能 力 的 服务 器 端 ， 并 且 优 
先 保障 鱼 类 识别 应 用 的 精准 度 ， 本 研究 选择 了 识 


别 精 度 更 高 的 DenseNet169 模 型 进行 部 署 。 


4 ”水 下 和 鱼 识别 模型 部 署 


4.1 服务 器 实现 


(1) 开发 平台 

操作 系统 : Ubuntu 20.04。 

平台 环境 : Python 3.8, CUDA 11.2, Py- 
Torch 1.7.0, Anaconda 2.0.3, Django 3.2.4'"', 
Gunicorn 20.0.4 ^* 等 。 

开发 工具 : PyCharm Professional 2019.2. 

数据 库 : MySQL. 

为 方便 模型 调用 ， 本 研究 选择 了 Python 语言 
进行 服务 咒 开 发 ， 在 配备 GT1650 显卡 的 Ubuntu 
系统 上 安装 了 英 伟 达 显卡 驱动 ， 在 Anaconda 创 
建 虚 拟 环境 并 在 虚拟 环境 中 安装 Django, Py- 
Torch, numpy, pandas 等 必要 工具 包 完 成 环境 
配置 。 

(2) 项 目 搭建 

在 PyCharm Professional 中 新 建 Django 项 目 ， 
并 将 Python 解释 器 配置 成 上 述 虚 拟 环境 ， 按 照 
Django 框 架 规范 在 配置 文件 里 配置 好 数据 库 和 安 
全 策略 等 各 类 中 间 件 ， 创 建 FishInfo 类 映射 到 数 
据 库 并 纳入 Django Admin 管理 ， 在 urls.py 文 件 
中 完成 URL 上 映射， 服务 器 项 目 结构 如 图 $ 所 示 。 

(3) ”模型 集成 

参考 Pytorch 官 方 文档 ”将 上 述 权重 文件 打 
包 成 *.tar 格式 ， 创 建 classifier 类 ， 在 该 类 的 
init 方法 中 使 用 Pytorch 提供 的 torch 系列 API 
完成 模型 初始 化 ， 并 新 建 perdict 函数 实现 模型 预 
测 逻辑 ， 最 终 通 过 在 Django 的 views.py 中 引入 
classifier% ， 传 递 图 像 数据 给 classifier 对象 完 成 
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^ django fish classify ^ backend “api classify 


E| Project ~ Oo -= | se = 

i django, fish classify ~/Desktop/pythonprojects 
= M backend 
= Di api 

classify 

Ml fcanet 

© -gitignore 

S init .py 


i classifier.py 
= labels fish identification.txt 
5 model best.path.tar 
* model service.py 
Š predict.py 
control 
migrations 
^ init .py 
* admin.py 
® apps.py 
& models.py 
s tests.py 
* urls.py 
5 views.py 
settings 
* init .py 
5 dev.py 
® prod.py 
^ init .py 
5 asgi.py 
* urls.py 
* wsgi.py 


图 5 鱼 类 识别 系统 服务 器 项 目 结构 


* Structure 


Fig. 5 Server project structure of the fish identification system 


模型 调用 ,模型 集成 和 初始 化 代码 如 图 6 所 示 。 


class classifier(object): 


def init (self): 
resume = os.path.dirname( file ) + '/model best.path.tar' 
torch.cuda.set device(8) 
checkpoint = torch.load(resume) 
from collections import OrderedDict 
new state dict = OrderedDict() 
state dict = (k: v for k, v in checkpoint.items()] 
for k, v in state dict.items(): 
print(k) 
if(ke-"state dict"): 
for a, b in v.items(): 
name - a[7:] 
new state dict[name] = b 
self.model = models.densenetl69(pretrained-True) 
self.model.fc = torch.nn.Linear(2048, 23) 
for parma in self.model.parameters(): 
parma.requires grad - False 
self.model.load state dict(new state dict, strict-False) 
self.model = self.model.cuda() 
self.model.eval() 
torch.no grad() 


图 6 和 鱼 类 识别 系统 初始 化 识别 模型 
Fig. 6 Initialize the identification model of the fish 
identification system 
(4) 和 鱼 类 信息 存储 
本 系统 采用 MySQL 来 存储 结构 化 的 鱼 类 信 
息 ， 系 统 所 涉及 的 核心 表 为 FishInfo 鱼 类 信息 


R, WBA T Ground-Truth 数 据 集中 鱼 的 介绍 性 信 
息 ， 这 些 鱼 类 信息 采集 自 乐 潜 无 线 海洋 鱼 类 资料 
库 59 和 台湾 鱼 类 资料 库 中 ，FishInfo 表 的 设计 
如 表 5 所 示 。 


表 5 鱼 类 识别 系统 Fishlnfo 表 设 计 
Table 5 Design of FishInfo table of the fish identification 


system 


字段 名 字段 类 型 ”完整 性 约束 是 否 为 主键 字段 含义 


fish id int 非 空 是 鱼 类 编号 
type varchar 非 空 ff 鱼 的 种 类 
profile varchar 非 空 ff 简介 信息 
outline varchar 非 空 ff 外 形 介绍 
distribution varchar 非 空 ff 分 布 情况 
life_cycle varchar 非 空 f 生长 周期 
disease varchar 非 空 ff 常见 病害 
(5) ”服务 发 布 
由 于 Django 本 身 带 的 调试 服务 器 性 能 较 弱 ， 


为 提高 服务 器 并 发 效率 ， 本 研究 使 用 Guni- 
corn ”多 线程 形式 来 发 布 服务 端 程序 ， 最 终 服 
务 絮 的 相关 环境 和 提供 的 接口 服务 如 图 7 所 示 。 


Ubuntu 系统 


登录 : login 


Gunicorn == 
服务 ik: logout 


ies aed | RHI: identify 


PyCharm 
详细 信息 : getFishlnfo 


DenseNet 


CUDA 


E 


图 7 鱼 类 识别 系统 服务 器 环境 配置 图 


Fig. 7 Server environment configuration diagram of the fish 


identification system 
4.2 安 卓 APP 实现 


(1) 开发 平台 

操作 系统 : macOS 11.2. 

平台 环境 : JDK 1.8.0 211，Android SDK 
Platform 30。 

开发 工具 : AndroidStudio 4.1.2 99; 

TE Mac Filii E ZÆ JDK , Android SDK 并 配 
置 好 环境 变量 ,在 AndroidStudio IDE 中 完成 具体 
的 APP 程 序 编码 工作 。 
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(2) 项 目 搭建 

为 提高 编码 效率 ，APP 引 入 了 OKHttp ?" ££ 
量 级 网 络 框架 ， 在 子 线程 中 收发 识别 请 求 ， 由 于 
谷歌 规定 安 卓 代码 在 子 线程 中 不 能 更 新 界面 ， 为 
方便 界面 交互 引入 了 EventBus " 来 完成 跨 线 程 
事件 传递 。 以 上 两 个 依赖 均 为 开源 项 目 依赖 ， 在 
AndroidStudio 的 build.gradle 配 置 文件 中 添加 相应 
的 仓库 地 址 即 可 完成 依赖 项 导入 。APP 项 目 结构 
如 图 8 所 示 。 

(3) 图 像 采 集 和 上 传 

在 图 像 采 集 方 面 ， 为 尽 可 能 提高 软件 兼容 
TE, APP 锁定 屏幕 为 竖 屏 ， 采 用 Android SDK 提 
供 的 Camera 类 完成 相机 的 调用 和 图 像 帧 获取 ， 
将 原 NV21 格 式 图 像 帧 包装 成 Bitmap 并 压缩 为 固 
XE RH 640X480 像素 大 小 ， 最 终 编码 成 Base64 格 
式 字符 串 ， 通 过 OKHttp 在 子 线程 中 将 Base64 Zi 
码 的 图 片上 传 至 服务 器 请 求 识 别 。 

(4) 界面 实现 

当 服 务 器 放 回 的 识别 可 信和 度 达到 一 定 阔 值 
Ja, APP 显示 相关 鱼 类 信息 ， 识 别 结果 在 APP 子 


欢迎 使 用 鱼 类 在 线 识别 系统 
V1.0 


(a) d X (b) 拍 照 识别 


© Project ~» © > a - 
” Œ fish_classify_online [FishClassify] ~/Desktop/anc 
Bi .gradle 
idea 
Y [app 
B3 build 
libs 
release 
src 
androidTest 
main 
Y Mijava 
* com.cau.fishclassify 
© beans 
" D demo 
> B eventbean 
“a floatwindow 
tools 
> B utils 
> N views 
(© FashDetailActivity 
© FishRecogActivity 
(© FishRecognizer 
'€ MainActivity 
'€ RightActivity 
F res 
Be AndroidManifest.xml 


图 8 鱼 类 识别 系统 安 草 端 APP 项 目 结构 
Fig. 8 Android APP project structure of the fish 


recognition system 


线程 中 接收 ， 通 过 EventBus 完成 识别 结果 的 事 
件 分 发 ， 最 终 在 主线 程 的 界面 完成 识别 结果 显 
示 。APP 的 识别 结果 界面 如 图 9 所 示 。 


五 带 豆 娘 鱼 


从 铀 科 豆 娘 鱼 属 的 一 种 鱼 类 . 头 背部 鳞片 
向 前 延伸 至 左右 鼻孔 之 间 。 鳃 盖 骨 光滑 无 
锯齿 。 背鳍 具 12~13 镶 条 。 体 侧 具 5 条 暗色 模 
带 , 但 鱼 体 色 略 黄 且 尾 鳍 上 下 叶 也 没有 黑 
带 。 


o MES 分 


体 呈 外 加 形 而 例 扁 。 萄 短 而 略 尖 。 R 

识别 结果 中 大 , 上 侧 位 . Oh, EARRAN 
眼前 缘 ; 齿 单 列 , RRRA, EFE 
具 鲜 ,后 缘 则 平滑 ; MERRER 
FR. BARB; USBI 

序号 名 称 mas 18-20%. 背 鱼 音 一, 软 条 部 延长 而 呈 


= Il, 软 条 13-16; 胸鳍 鱼 条 18-20; AE 
a 5 
V, MEE TM RRA, 上 下 叶 外 侧 请 条 不 
八 岗 科 豆 娘 鱼 属 的 一 种 鱼 类 。 头 背部 鳞片 向 EKRAR. 体 呈 灰白 至 淡 黄色 , EH 
RREEZAGRAZU. 鳃 盖 骨 光滑 无 所 此 背 RA; 体 侧 有 5 条 早 色 模 带 。 MARE 
3ERT2-13885. 体 侧 具 5 条 暗色 模 带 , BAH 上 方 有 一 小 黑 斑 ; BRASS ESXR 
色 跑 黄 且 必 钱 上 下 叶 也 没有 黑 带 . 点 ; 尾 柄 上 无 黑 点 。 RARAS. 


查看 更 多 > 


(Cc) 识别 结果 (d) 查 看 更 多 


图 9 安 卓 版 鱼 类 在 线 识 别 移动 APP 界 面 


Fig.9 Mobile APP interfaces of fish identification 


4.3 系统 测试 


(1) 测试 环境 

软件 环境 : 鱼 类 在 线 识别 系统 V1.0。 

移动 终端 ， 红 米 K40 手 机 。 

服务 器 环境 : 配备 Intel i7-8700 处 理 器 和 英 


伟 达 GTX1650 显卡 的 联想 台式 机 。 
网 络 环境 : 校园 无 线 局 域 网 。 
场地 环境 : 实验 室 环境 40 WKE PF 
(2) 测试 方法 
通过 在 程序 中 加 入 耗 时 计算 代码 测试 识别 过 
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程 耗 时 ， 计 量 模型 识别 耗 时 以 及 从 手机 终端 发 出 
网 络 请 求 到 收 到 识别 信息 的 总 时 延 ， 具 体 的 测试 
操作 如 图 10 所 示 ， 在 红 米 K40 手 机 上 安装 软件 
后 ， 在 台式 电脑 显示 器 上 打开 验证 集中 的 鱼 类 图 
片 ， 利 用 手机 后 置 摄像 头 拍 照 进行 鱼 类 识别 ， 手 
机 软件 上 实时 显示 识别 结果 和 识别 耗 时 。 


查验 种 类 、 可 信 度 等 识别 结果 
显示 算法 识别 耗 时 
测算 总 的 识别 时 延 以 及 网 络 时 延 


图 10 鱼 类 识别 系统 测试 示意 图 
Fig.10 Schematic diagram of the fish identification 
System test 

(3) 测试 结果 

使 用 上 述 环 境 和 方法 对 鱼 识别 系统 应 用 的 实 
际 测 试 ， 测 试 结 果 如 表 6 所 示 。 由 表 6 可 见 ， 在 
上 述 测试 环境 下 ，APP 可 以 在 百 上 毫秒 级 准确 识别 
鱼 类 图 片 ， 并 且 延 迟 的 主要 原因 是 网 络 传输 耗 
时 ， 基 本 可 以 满足 识别 应 用 需要 。 


5 结论 与 展望 


本 人 研究 以 水 下 鱼 类 实时 识别 任务 为 切入 点 ， 
提供 了 一 个 完整 的 鱼 类 识别 任务 模型 选择 、 训 练 
的 评价 的 思路 ， 并 提出 了 一 种 基于 安 卓 移动 终端 
的 远程 鱼 类 识别 解决 方案 ， 该 方案 具有 良好 的 扩 
展 性 ， 可 以 为 其 它 图 像 识 别 任务 提供 重要 参考 ， 
所 实现 系统 可 以 应 用 于 鱼 类 知识 科普 、 和 鱼 类 养殖 
等 各 类 需要 识别 鱼 类 的 场景 。 本 次 试验 结果 表 
AA: (1) 基于 DenseNet169 训练 的 模型 整体 碑 
值 达到 了 0.9742， 是 本 试验 获得 的 最 优 模 型 。 
(2) 本 试验 提出 的 基于 安 卓 移动 终端 的 远程 鱼 类 
识别 解决 方案 取得 了 良好 的 识别 效果 ， 上 有 具有 较 好 
的 识别 实时 性 。 

后 续 人 研究 还 可 以 在 模型 压缩 裁剪 领域 展开 工 
作 ， 对 所 部 署 模型 进行 裁剪 压缩 ， 进 一 步 提 高 模 
型 识别 效果 。 


表 6 鱼 类 在 线 识别 系统 测试 结果 


Table 6 Test results of the fish online recognition system 


鱼 种 类 可 信 度 /% 识别 耗 时 /s 网 络 耗 时 /s 总 耗 时 /s 


五 带 豆 娘 鱼 98.47 0.074 0.135 0.209 
双 斑 刺 尾 鱼 97.22 0.060 0.108 0.168 
双 带 小 丑 鱼 99.62 0.058 0.128 0.186 
Totti t 97.01 0.059 0.137 0.196 
Eu 97.20 0.058 0.077 0.135 
褐 蓝 子 鱼 78.66 0.056 0.118 0.174 
马 月 蝴蝶 鱼 95.97 0.059 0.105 0.164 
ILAR HE dit fs 85.08 0.071 0.115 0.186 
黑 三 角 倒 吊 鱼 99.39 0.061 0.107 0.168 
黑马 鞍 鱼 鱼 99.30 0.058 0.138 0.196 
Tb A EE CR 85.23 0.072 0.191 0.263 
RIRS fà 95.52 0.062 0.113 0.175 
3r v EC Fd pH Ag ed 91.77 0.061 0.111 0.172 
di fa 88.06 0.060 0.099 0.159 
ALS AE fü 87.49 0.058 0.131 0.189 
鹦 嘴 鱼 97.98 0.059 0.112 0.171 
网 纹 宅 泥 鱼 96.69 0.064 0.079 0.143 
康德 锯 鳞 鱼 87.64 0.057 0.100 0.157 
eS REIME f] 92.97 0.065 0.114 0.179 
黄 纹 炮弹 鱼 87.25 0.059 0.159 0.218 
墨 缘 单 鱼 鱼 94.46 0.061 0.117 0.178 
Tit ALE f 99.46 0.064 0.128 0.192 
川 纹 蝴蝶 鱼 91.46 0.057 0.105 0.162 
平均 值 93.21 0.061 0.119 0.180 
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Abstract: Convolutional neural network models have different advantages and disadvantages, it is becoming more and more dif- 
ficult to select an appropriate convolutional neural network model in an actual fish identification project. The identification of 
underwater fish is a challenge task due to varies in illumination, low contrast, high noise, low resolution and sample imbalance 
between each type of image from the real underwater environment. In addition, deploying models to mobile devices directly 
will reduce the accuracy of the model sharply. In order to solve the above problems, Fish Recognition Ground-Truth dataset was 
used to training model in this study, which is provided by Fish4Knowledge project from University of Edinburgh. It contains 
27,370 images with 23 fish species, and has been labeled manually by marine biologists. AlexNet, GoogLeNet, ResNet and 
DenseNet models were selected initially according to the characteristics of real-time underwater fish identification task, then a 
comparative experiment was designed to explore the best network model. Random image flipping, rotation and color dithering 
were used to enhance data based on ground-truth fish dataset in response to the limited number of underwater fish images. Con- 
sidering that there was a serious imbalance in the number of samples in each category, the label smoothing technology was used 
to alleviate model overfitting. The Ranger optimizer and Cosine learning rate attenuation strategy were used to further improve 
the training effect of the models. The accuracy and recall rate information of each model were recorded and counted. The results 
showed that, the accuracy and recall rate of the fish recognition model based on DenseNet reached 99.21% and 96.77% in train 
set and validation set respectively, its F, value reached 0.9742, which was the best model obtained in the experiment. Finally, a 
remote fish identification system was designed based on Python language, in this system the model was deployed to linux server 
and the Android APP was responsible for uploading fish images via http to request server to identify the fishes and displaying 
the identification information returned by server, such as fish species, profiles, habits, distribution, etc. A set of recognition tests 
were performed on real Android phone and the results showed that in the same local area net the APP could show fish informa- 
tion rapidly and exactly within 1 s. 


Key words: fish identification model; CNN; model evaluation; Android; Ground-Truth; real-time identification system 
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